| PSK-31 | | Программы | | Архив | | Ссылки | | Примеры | | Новости | | Рассылки | | Контесты | | Частоты | | ICOM-756 | | UA1ACO | | Разное |
ТЕСТИРОВАНИЕ РАЗЛИЧНЫХ ПРОГРАММ
по цифровым видам связи


Тестирование программ проведено UA6HJD
Оригинал на странице:
http://www.hamradio.cmw.ru/

ЧАСТЬ 1

Работая в эфире цифровыми видами связи, неоднократно приходилось слышать споры и дискуссии, на тему какая программа лучше. Вопрос вечный и определить это невозможно, так как сколько людей столько и мнений. Однако если конкретизировать вопрос, то определить какая программа лучше - можно по одному или нескольким конкретным параметрам. В этой статье мы ответим на два конкретных вопроса:

  1. Какая из тестируемых программ имеет лучшую чувствительность?
  2. На каком индикаторе настройки (водопаде), лучше видны очень слабые сигналы?

Авторам программ
Много лет человек изучает языки программирования, набирает опыт и только потом что-то пишет сам. Немногие люди понимают сколько сил это стоит. Авторам программ для радиолюбителей можно при жизни ставить памятник. Все тестируемые программы очень хорошо написаны, имеют много функций, а те небольшие деньги которые просят за некоторые из них, действительно стоит заплатить, чтобы поддержать разработчиков.

Подготовка
Поясню еще раз, что собственно мерить будем. Под чувствительностью программы в данном случае, понимается ее способность декодировать слабые сигналы поступающие на линейный вход звуковой карты. Поскольку компьютер на котором будет вестись прием, один и тот же, звуковая карта и уровни усиления - одни и теже, значит уровень сигналов при котором еще возможен прием, будет напрямую зависеть только от используемого алгоритма обработки входного сигнала, применяемого в конкретной программе.

два ПК соединенные шнуром, готовы к тестированию

Испытательный стенд представляет из себя два компьютера, один Celeron-2600, мат.плата GIGABYTE P4 Titan GA-8IPE1000 со встроенной звуковой картой. Второй Laptop COMPAQ Evo N400c. На обоих ПК установлена Windows2000pro. Перед экспериментом, звуковые карты на обоих компьютера были тчательно откалиброваны, с помощью сигналов на частоте 9995кГц!

Звуковые карты компьютеров соединены между собой шнуром длиной 60см с двумя стандартными разьемами 3.5мм на концах.

Один из компьютеров будет все время предавать сигналы, на другой компьютер мы их будем принимать. Шумы эфира и помехи исключены, для ответа на поставленные выше вопросы это и не нужно, также как в данном эксперименте не нужны эмуляторы шума эфира и тд. Здесь мы отвечаем только на два конкретных вопроса поставленных выше.

Выбор программ и режимов работы
Последние версии программ были взяты с сайтов авторов. Специального отбора программ не производилось, я не являюсь ярым сторонником какой либо определенной программы, поэтому взял наиболее популярные, из тех на которых работают в эфире.

Все эти программы мне также хорошо знакомы, поэтому никаких проблем с их корректной установкой и предварительной настройкой не возникло. Цифровые виды связи также были выбраны самые популярные. Например, нет смысла тестировать PSKFEC31 или PSK10 потому что их поддерживает только одна программа.

Методика тестирование
Поначалу я подключал к звуковым картам приборы, чтобы точно измерить и зафиксировать уровни в ДБ и тд. Получилось много умных и красивых графиков зависимостей уровней. В конечном счете все это хорошо для научной статьи, мне кажется радиолюбителей не стоит загружать лишней информацией, все должно быть просто и понятно. Поэтому я здесь использую метод сравнения, он не привязан к дб, прост для понимания и точен. Все эксперименты сможет легко повторить любой радиолюбитель с приборами или без них. Результат будет всегда одинаковый.

Первоначально регуряторы уровня на звуковой карте, установлены в положение ниже среднего. По мере тестирования уменьшаем его до того значения когда, программа перестанет четко принимать 50% контрольного текста. Контрольный текст представляет из себя семь строк об аппаратуре. Таким образом мы отсеиваем программы, не принявшие текст на данном уровне и повторяем все с теми программами которые его принимали, но уровень сигналов уменьшаем еще немного. Так постепенно остается одна программа - лучшая (по одному критерию). Контрольный текст повторяется 10 раз, при каждом новом эксперименте и с каждой новой тестируемой программой.

Контрольные сигналы передавались на частоте 1800гц, во всех цифровых протоколах. SQL во всех программах был выключен, в MixW dinamic range для водопада был установлен 80дб. В MiltiPSK замеры проводились с включенной и включенной АРУ.

Тестируем BPSK31
Уровень_1:
Плавно и медленно уменьшаем уровень сигналов, регуляторами звуковой карты, пока одна из программ начнет принимать текст с ошибками. Первым перестала читать сигналы Mixw, хотя на водопаде сигнал еще отчетливо виден. Stream еще принимает текст, но ошибок довольно много, хотя смысл текста еще понятен. Сигнал на водопаде виден очень четко. Logger32 на этом уровне, делает очень небольшие ошибки, 99% контрольного текста читаются. Сигнал на водопаде виден хуже, чем в других программах. На водопадах MULTIPSK и MMVARI сигнал виден очень четко и читается без ошибок.
Уровень_2:
Еще уменьшаем уровень сигналов, до того момента когда Stream перестанет читать более 70% текста. Хотя текст прочитать уже нельзя, на водопаде Stream сигнал виден отчетливо. На водопадах MixW и Logger32 сигнала не видно вообще. MULTIPSK читает текст с ошибками, но смысл понятен, примерно 20% ошибок, на водопаде сигнал виден четко. В MMVARI сигнал виден очень четко, читается 100% текста, без ошибок.
Уровень_3:
Уменьшаем уровень сигнала, пока MULTIPSK не перестанет принимать текст, точнее пока ошибок будет столько что разобать смысл уже нельзя. На водопадах MixW и Logger32 сигнала не видно. На водопаде Stream, сигнал виден плохо и не читается абсолютно. В MULTIPSK разобрать можно только отдельные слова, но все они с ошибками. На водопаде сигнал почти не виден и угадывается по отдельным точкам. В MMVARI сигнал отлично виден на водопаде и текст читается на 100%, без ошибок.

Тестируем MFSK16
Logger32 не может принимать MFSK, поэтому он не тестируется.
Уровень_1:
Чувствительность MixW в режиме MFSK немного выше, уменьшаем уровень до того момента когда текст принимается с многочисленными ошибками (50%). На водопаде сигнал виден довольно четко. Stream читает текст без ошибок, сигнал на водопаде виден отлично. В MULTIPSK сигнал на водопаде виден очень четко и читается 100% текста. В MMVARI на индикаторе сигнал виден прекрасно и текст читается без ошибок.
Уровень_2:
Уменьшаем сигнал до того уровня когда синхронизация в Stream начнет срываться, текст принимается с многочисленными ошибками, хотя на водопаде сигнала по прежнему виден, но уже не четко. На водопаде MixW сигнала еле видно (темно-синий сигнал на черном фоне), текст не читается вообще. В MULTIPSK сигнал на водопаде виден четко и читается 100% текста. В MMVARI на индикаторе сигнал виден очень четко и текст читается без ошибок (100%).
Уровень_3:
Уменьшаем сигнал до того уровня пока MULTIPSK не начнет сбиваться. MixW текст не читает, на водопаде сигнал не виден. Stream текст не читает, сигнал еле угадывается на водопаде (если долго присматриваться), настроится на такой слабый нельзя. В MULTIPSK сигнал на водопаде еле виден, но текст пока еще читается (70%). В MMVARI на индикаторе сигнал виден слабо, но довольно четко, текст читается без ошибок (100%).
Уровень_4:
Уменьшаем уровень сигнала, до того пока текст не перестанет читаться в MULTIPSK. При этом сам сигнал еще немного угадывается на водопаде. В MMVARI сигнал отлично виден на водопаде и читается без ошибок! Все другие программы, сигнал не видят вообще.

Выводы делать рано...
Теперь мы можем ответить на вопросы заданные в начале статьи. На что собственно влияют проверенные нами параметры при работе в реальном эфире. На очень многое. При большей чувствительности программы, вы сможете услышать и декодировать очень слабые DX сигналы, правда в основном это относится к ВЧ диапазонам. А хороший индикатор настройки, поможет не потерять сигнал, даже когда уже не декодируется текст, при QSB, федингах, когда сигнал проваливается и снова выплывает. Итак, после всего вышесказанного ответим на вопросы поставленные в начале статьи:

  1. Какая из протестированных программ имеет лучшую чувствительность?
  2.   Это однозначно MMVARI.
  3. На каком индикаторе настройки (водопаде), лучше видны очень слабые сигналы?   На MMVARI, MULTIPSK, STREAM.
Казалось бы, результаты полученные здесь, точны и их можно легко повторить. Однако обратите внимание что реальный эфир вносит свои корректировки. Например Если в MMVARI чувствительность BPSK и MFSK одинаковая это не значит что они и в реальном эфире равнозначны. MFSK всегда будет лучше. Но у нас есть четко сформулированный вопрос и мы получили на него однозначные ответы и главное что здесь исследовались не протоколы, а программы с их алгоритмами.

Что дальше?
Эксперименты не закончены, значит и статья тоже. Авторы выпускают новые версии и постоянно улучшают свои произведения. В следующих частях можно попытаться ответить и на другие конкретные вопросы, касающиеся качества работы или функций программ. Тогда пользователям будет проще разобраться какую программу лучше использовать для DX, а какую для соревнований.


ЧАСТЬ 2
БОРЬБА АЛГОРИТМОВ
сентябрь 2004г.

Продолжаем проверять реальное качество, радиолюбительских программ для цифровых видов связи. По сравнению с предыдущей статьей, изменен испытательный стенд и учтены замечания и пожелания высказанные радиолюбителями. Выводы делайте сами. В этой статье, мы ответим на несколько конкретных вопросов:

  1. Какая из тестируемых программ, лучше принимает сигналы BPSK31, MFSK16, RTTY, AMTOR-FEC в шумах?
  2. На каком индикаторе настройки, лучше видны очень слабые BPSK31, MFSK16, RTTY, AMTOR-FEC сигналы?

Испытательный стенд
представляет из себя три качественных, современных компьютера, белой сборки, два COMPAQ и HP. На всех ПК интегрированные звуковые карты и установленна лицензионная операционная система Windows2000 + SP4. Звуковые карты компьютеров соединены между собой двумя шнурами длиной примерно по 80см.

Первый компьютер слева, все время предает сигналы (BPSK31,MFSK16,RTTY,AMTOR), посредством программы MixW 2.12. На компьютере, расположенном в середине, установлена программа Ionospheric Simulator, на ее вход поступает чистый цифровой сигнал, который далее смешивается с шумами генерируемые Ionospheric Simulator и передается на третий компьютер. В программе Ionospheric Simulator, установлены следующие параметры:
doppler spread fast = 2Hz
time delay path 2 = 0ms
freqyuensy deviation, path1 = 0Hz, path2 = 0Hz
drift = 0Hz/min

На третьем компьютере установлены тестируемые программы, они загружаются и тестируются поочередно. Достоинство этого стенда, возможность плавно регулировать уровни всех сигналов и возможность получить очень точные и реалистичные измерения при минимальных погрешностях. Фактически, это полный аналог профессиональных систем аналогичного назначения, для измерения некоторых характеристик каналов связи и протоколов.

Тестируемые программы
На описанном выше стенде, были проверены указанные ниже версии программ. Все результаты тестов, относятся только к указанным версиям программ.

  1. MultiPSK v3.3.3
  2. MixW v2.12 (зарегистрированная версия)
  3. Stream v1.1
  4. MMVARI v0.34
  5. MMTTY v1.65b
  6. TrueTTY v2.36b (зарегистрированная версия)
  7. Logger32 v1.5.0
  8. DigiPan v1.7
  9. HamScope v1.54


Что лучше принимает BPSK31?
Во время испытания каждой программы, выбирались те параметры и опции, которые позволяли принимать тестовый сигнал с максимально возможным качеством, шумоподавитель - всегда выключен. Ниже вы видите результаты тестов, многие промежуточные результаты опущены.

Уровень 1:
На этом уровне, все программы принимали контрольный текст, состоящий из пяти строк - одинаково хорошо. Ошибки не давала ни одна программа. Виды одного и тогоже сигнала на разных водопадах - перед вами. Уровень контрольного BPSK31 сигнала, везде одинаковый.

MixW
100%

Stream
100%

MultiPSK
100%

MMVARI
100%

TrueTTY
100%

Logger32
100%

DigiPan
100%

HamScope
100%

Уровень 2:
На этом уровне, все тестируемые программы не могли принять текст на 100%, без ошибок. Вид сигнала на разных водопадах, перед вами. В процентах указано количество принятого текста, чем он больше тем лучше. Уровень контрольного BPSK31 сигнала, везде одинаковый.

MixW
30%

Stream
7%

MultiPSK
44%

MMVARI
95%

TrueTTY
90%

Logger32
92%

DigiPan
86%

HamScope
65%


Что лучше принимает MFSK16?
Исходные данные и условия, те же что и в предыдущем тесте. Программы Logger32 и DigiPan, не участвуют в этом тесте.

Уровень 1:
На этом уровне, все программы принимали контрольный текст, из пяти строк, на 100%. Ошибки не давала ни одна программа. Уровень контрольного сигнала, одинаковый на всех картинках.

MixW
100%

Stream
100%

MultiPSK
100%

MMVARI
100%

TrueTTY
100%

HamScope
100%

Уровень 2:
На этом уровне, все программы давали сбои. Вид сигнала - перед вами. В процентах указано количество правильно принятого текста, чем больше - тем лучше. Уровень сигнала, везде одинаковый. Нет ничего удивительного, в том что сигнал практически не виден на индикаторах, протокол MFSK позволяет работать при значительно более низких уровнях чем BPSK31.

MixW
17%

Stream
30%

MultiPSK
40%

MMVARI
87%

TrueTTY
96%

HamScope
40%


Что лучше принимает RTTY?
Условия проведения тестов, такие как описаны выше. Программы Logger32 и HamScope, используют MMTTY для rtty режима, поэтому тесты для MMTTY можно отнести и к этим двум программам.

Уровень 1:
На этом уровне, все программы принимали контрольный текст, из пяти строк на 100%. Ошибки не давала ни одна программа. Уровень контрольного сигнала, одинаковый на всех картинках.

MixW
100%

MultiPSK
100%

MMVARI
100%

TrueTTY
100%

MMTTY
100%

Уровень 2:
На этом уровне, все программы давали сбои. В процентах указано количество принятого текста, чем больше - тем лучше. Уровень сигнала, везде одинаковый. Контроллер KAMplus, принимает слабые rtty сигналы заметно хуже, чем MixW и TrueTTY.

MixW
91%

MultiPSK
3%

MMVARI
92%

TrueTTY
91%

MMTTY
94%


Что лучше принимает AMTOR-FEC?
Можно сказать что AMTOR-FEC это усовершенствованный RTTY. Отличия заключаются в разносе между тонами (200гц), скорости (100бод) и применении коррекции ошибок FEC, поэтому AMTOR-FEC более помехоустойчив чем RTTY. Условия проведения тестов, такие как описаны выше. Я не стал приводить Уровень 1, так как MixW значительно опередила другие программы.

Уровень 2:
В процентах указано количество принятого текста, чем больше - тем лучше. Уровень сигнала, везде одинаковый. В этот тест, добавлен внешний мультимодовый контроллер KANTRONICS KAMplus v8.0, просто для сравнения.

MixW
99%

TrueTTY
12%

MultiPSK
1%

KAMplus v8.0
49%

Заключение
Не верьте, тому кто говорит что знает все о цифровой связи. Не верьте, так называемым авторитетным радиолюбителям. Не верьте тому кто 'собаку сьел' на цифровых видах связи. Не верьте тем, кто пишет программы и тем кто ими пользуется. Не верьте мне. Верьте себе и своему личному опыту. Если у вас нет личного опыта - значит вы не живете.

На мой взгляд, эксперимент получился достаточно наглядным, а статья не перегружена информацией. Теперь вы сами, ответите на поставленные в начале статьи вопросы и сделаете выводы. На этом эксперименты не закончены, продолжение следует....


ЧЕЙ ВОДОПАД ЛУЧШЕ ВИДИТ BPSK31?

замеры сделаны 29 апреля 2005г.

U A 6 H J Q

Одной из важных характеристик любой программы для цифровых видов связи, является возможность видеть максимально слабый сигнал на индикаторе настройке. Самым эффективным индикатором настройки является ''водопад'', на нем видны довольно слабые сигналы. В этом тесте, даже не важно, сможет ли программа декодировать слабый сигнал. Важно, позволит ли она его просто увидеть. В качестве тестового сигнала используется стандартный BPSK31 передаваемый программой MixW.

Испытательный стенд состоит из трех компьютеров, на одном установлена программа, которая все время передает тестовый сигнал в формате BPSK31, на втором установлена программа Ionospheric Simulator для создания шумов и помех, на третьем, поочереди запускаем тестовые программы.

Сегодня мы будем использовать последнии версии, следующих популярных программ:

  1. MixW v2.15 eng
  2. TrueTTY v2.50
  3. Stream v1.1
  4. MMVARI v0.41
  5. MultiPSK v3.6.1
  6. DigiPan v2.0
  7. HamScope v1.55


DigiPan

Stream

MultiPSK

MMVARI

TrueTTY

MixW

HamScope

На картинках вы видите один и тотже BPSK31 сигнал, с одинаковым уровнем. Обратите внимание, как программы показывают на водопаде уровень шумов эфира, на картинках он отличается значительно, хотя на самом деле, везде одинаковый. Пусть каждый сделает выводы сам для себя и пользуется той программой которую он считает лучшей. Напомню, что это лишь одна из многочисленных характеристик программ и по ней нельзя судить о программе в целом.

И. Лаврушов, (UA6HJQ), ua6hjq@mail.ru 
http://www.hamradio.cmw.ru/


Хостинг от uCoz